Scaling Law“暴力美学”真的失效了吗？
Scaling Law“暴力美学”真的失效了吗？近期，围绕Scaling Law的讨论不绝于耳。
来自主题: AI资讯
5189 点击 2024-11-19 10:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近期，围绕Scaling Law的讨论不绝于耳。
哈佛斯坦福MIT等机构首次提出「精度感知」scaling law，揭示了精度、参数规模、数据量之间的统一关系。数据量增加，模型对量化精度要求随之提高，这预示着AI领域低精度加速的时代即将结束！
继Anthropic之后，OpenAI也要接管人类电脑了？！
几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
昨天，The Information 的一篇文章让 AI 社区炸了锅。
Ilya终于承认，自己关于Scaling的说法错了！现在训练模型已经不是「越大越好」，而是找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练。而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。
半年两次大融资后，这家具身智能黑马再次获得融资！作为柏睿资本首次投资的具身智能企业，千寻智能不仅拥有出身自伯克利系联创，在技术、硬件、商业化上，也让人极有信心。
奥特曼在OpenAI伦敦开发者日上的最新采访，终于完整释出！ 40分钟的采访过程中，奥特曼除了聊OpenAI未来模型发展方向、Agent、和最尊敬的竞争对手（就是此前碎片式走漏风声的几个问题）外，还就Scaling Law、半导体供应链、基础模型竞争成本、该雇佣什么年龄段的员工等十多个问题进行了快问快答。
2022年诞生的ChatGPT，已经在相当程度上实现了大模型的Scaling law（尺度定律）和通用能力涌现。